¡La atención de los desarrolladores de todo el mundo se centra de nuevo en China! En la muy esperada Conferencia Global de Desarrolladores (GDC), la comunidad ModelScope de Alibaba Cloud anunció el lanzamiento de dos nuevos modelos multimodales de código abierto de Step-Star, incluyendo Step-Video-T2V, el modelo de generación de vídeo de código abierto con mayor cantidad de parámetros del mundo, y Step-Audio, el primer modelo de interacción de voz de código abierto a nivel de producto de la industria. Esta noticia ha revolucionado la comunidad de código abierto de IA a nivel mundial, demostrando una vez más la sólida capacidad de innovación de China en el campo de la inteligencia artificial. Como la plataforma de IA más grande de China...

El equipo de Fei-Fei Li ha presentado un nuevo modelo multimodal capaz de comprender y generar acciones humanas, y mediante la combinación de un modelo de lenguaje, ha logrado un procesamiento unificado del lenguaje oral y no verbal. Este avance innovador permite que las máquinas no solo comprendan las instrucciones humanas, sino que también interpreten las emociones implícitas en las acciones, lo que permite una interacción humano-máquina más natural. El núcleo del modelo radica en su marco de modelo de lenguaje multimodal, capaz de recibir entradas de diversas formas como audio, acciones y texto, y generar datos modales necesarios. Combinado con una estrategia de preentrenamiento generativo, el modelo...

El 21 de septiembre de 2024, Alibaba anunció en la Cumbre de Cloud Computing de Hangzhou varias innovaciones tecnológicas y novedades en el desarrollo de negocios. Entre ellas, el lanzamiento oficial de la sección dedicada a AIGC en la Comunidad de Modas, con el objetivo de proporcionar a los desarrolladores una plataforma integral para la creación y el desarrollo de IA. Esta plataforma ofrece actualmente de forma gratuita todos los módulos funcionales y la capacidad de procesamiento de GPU. En esta primera fase se han lanzado 157 modelos multimodales cuidadosamente seleccionados, incluyendo modelos populares de la comunidad y modelos LoRa de estilo variado aportados por diseñadores.

El equipo de OpenCompass de Shanghai AI Lab, en colaboración con ModelScope, ha lanzado Compass Multi-Modal Arena, una nueva sección de la plataforma de evaluación de modelos grandes centrada en modelos multimodales. Los usuarios pueden cargar una imagen y plantear una pregunta, permitiendo que dos modelos multimodales anónimos generen respuestas. Posteriormente, se realiza una evaluación subjetiva de la calidad del contenido generado para elegir el modelo con mejor rendimiento. La plataforma ofrece una interfaz fácil de usar y un banco de preguntas especial, cuyo contenido se detalla más adelante.

PaddleMIX 2.0 es un kit de desarrollo de modelos multimodales lanzado por Baidu, diseñado para simplificar el desarrollo de aplicaciones multimodales y admitir escenarios como la conducción autónoma, la atención médica inteligente y los motores de búsqueda. Sus puntos clave incluyen: 1. **Amplia biblioteca de modelos:** abarca imágenes, texto, video y audio, con la adición de modelos de la serie LLaVA, que ofrecen soporte tecnológico de vanguardia. 2. **Experiencia de desarrollo integral:** equipado con DataCopilot y módulos automáticos para simplificar el proceso de entrenamiento de modelos multimodales. 3. **Capacidad de entrenamiento de alto rendimiento**

Sketchpad permite a los LM dibujar usando líneas, cuadros, marcas, etc., lo que se asemeja más al dibujo humano y facilita el razonamiento. Además, Sketchpad puede utilizar modelos visuales especializados durante el proceso de dibujo, como modelos de detección de objetos para dibujar cuadros delimitadores y modelos de segmentación para dibujar máscaras, con el fin de mejorar aún más la percepción y el razonamiento visuales.

'OpenAI y Microsoft son demandados por agencias de noticias por infracción de derechos de autor'; 'Los modelos multimodales se convierten en la principal tendencia en el campo de los modelos de lenguaje a gran escala'; 'Se rumorea que OpenAI negocia activamente con editores'; 'Se promulgan políticas de IA, y se presta atención a los problemas de derechos de autor de los conjuntos de datos de alta calidad'; 'China CITIC Press colabora con empresas de modelos de lenguaje a gran escala para el entrenamiento de idiomas'; 'La ventaja principal de Visual China en la era de AIGC'

Kuaishou ha lanzado una nueva estrategia de IA, desarrollando modelos de lenguaje a gran escala con más de 100 mil millones de parámetros y modelos multimodales. Kuaishou ha presentado el modelo de lenguaje a imagen “Ke Tu”, capaz de generar obras de arte con detalles ricos y estilos diversos. Kuaishou está acelerando la aplicación de los modelos de lenguaje a gran escala en escenarios específicos, ofreciendo más servicios de generación de contenido de IA multimodal. Los productos de Kuaishou cuentan con diversas capacidades de creación de contenido con IA, ayudando a los creadores a producir contenido de diferentes estilos con facilidad. Kuaishou se esfuerza por mantener su posición de liderazgo en China para responder a los posibles avances tecnológicos futuros.